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(57) Abstract: The invention relates to a man/machine interface which enables music software programs to be controlled using a 
touch screen to manipulate virtual objects. More specifically, the invention relates to a method of controlling a piece of computer 
equipment using a device comprising a multi -contact two-dimensional sensor for the acquisition of tactile information and computing 
means which generate control signals as a function of said tactile information. The invention is characterised in that the method 
comprises a step involving the generation of graphical objects on a screen that is positioned under a transparent tactile sensor, each 
^K^l of said graphical objects being associated with at least one specific processing principle. According to the invention, during each 
^ acquisition phase, the sensor delivers a plurality of tactile information, whereby each piece of tactile information undergoes specific 
processing determined by the location thereof in relation to the position of one of said graphical objects. 
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(57) Abrege : La presente invention se rapporte a une interface homme-machine peraiettant le controle de logiciels de musique par 
un ecran tactile avec manipulation d'objets virtuels. EUe conceme un procede pour le controle d'un equipement infoimatise par un 
dispositif comportant un capteur bidimensionnel multi-contact pour I'acquisition d'informations tactiles, ainsi que des moyens de 
calculs generant des signaux de commande en fonction desdites informations tactiles caracterise en ce qu'il comporte une etape de 

generation d'objets graphiques sur un ecran place sous un capteur tactile transparent, chacun des objets graphiques etant associe a au 
moins une loi de traitement specifique, le capteur delivrant lors de chaque phase d'acquisition une pluralite d'informations tactiles, 
chacune desdites informations tactiles faisant I'objet d'un traitement specifique determine par sa localisation par rapport a la position 
d'un desdits objets graphiques. 
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contr6leur par manipulation OB jets virtuels 

SUR UN ECRAN TACTILE MULTI -CONTACT 

La presente invention se rapporte au domaine des 
5 controleurs musicaux. 

La presente invention se rapporte plus 
particulierement a une interface hoinine -machine permettant 
par exemple le controle de logiciels de musique ou d'un 
10 automate par un ecran tactile multi-contact avec 
manipulation d'objets virtuels. 

L'art ant^rieur connalt d6ja les controleurs de 
logiciels de type manuel. Ce sont par exemple des 
15 potentiometres manipulables par 1 'utilisateur sous forme de 
console et controlant les diff^rentes fonctions des 
logiciels de musique. Une telle console fait par exemple 
1' Ob jet de la demande PCT WO 01/69399. 

20 Le desavantage de ce type de controleur est qu'ils 

sont tres peu ergonomiques pour une manipulation efficace 
des logiciels. 

La solution proposee par la presente invention est de 
25 mettre en oeuvre un ecran tactile pour la manipulation et 
I'acces aux fonctions Ipgicielles. 

Dans le domaine des controleurs tactiles,. l'art 
anterieur connalt deja par la demande PCT WO 03/041006^ ou 
30 le brevet US 6 570 078 des controleurs musicaux avec 
controle tactile sur un capteur matriciel. Les technologies 
decrites dans ces documents permettent un controle tactile 
de type multi-contact, ou tous les doigts peuvent intervenir 
pour le controle des logiciels. 
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Cependant ces documents ne proposent pas de retour 
visuel des manipulations, puisque les differents capteurs 
matriciels sont de type opaque. 

5 

L'art anterieur .connalt, par la demande de brevet 
am^ricain US 2002/005108 (Lester Franck Ludwig) "TactilSr 
visual and array controllers for real-^time control of music 
signal processing^ mixing^ video and lighting^'^ un systeme 

10 et un precede pour contr61er en temps r^el des processeurs 
de signaux, des synthetiseurs , des instruments de musiques, 
des processeurs MIDI, des lumieres, de la vid^o, et des 
effets speciaux lors de representations, d'enregistrements 
ou dans des environnements de composition en utilisant des 

15 images deriv^es de capteurs tactile, de matrices de capteurs 
de pression, de matrices de transducteurs optiques, des 
matrices de capteurs chimiques, de matrices de capteurs 
corporels et de traitements numeriques. L' invention de cette 
demande de brevet americain fournit des touch-pads, des 

20 matrices de capteurs de pression et des matrices de capteurs 
corporels comme interfaces de controle tactile, des cameras 
video et des matrices de capteurs de lumiere comme 
transducteurs optiques, des matrices de capteurs chimiques 
et d'autres dispositifs de generation d' images numeriques a 

25 partir de traitements sur ordinateurs ou de simulations 
numeriques. Les transducteurs tactiles peuvent etre disposes 
sur les cles d' instruments conventionnels, etre attaches a 
des instruments existant ou bien etre utilises pour cr^er de 
nouveaux instruments ou de nouveaux controleurs. Les 

30 matrices de capteurs chimiques et les autres dispositifs de 
generation d' images numeriques a partir de traitements par 
ordinateur ou de simulations numeriques peuvent etre 
utilises pour observer ou simuler des phenomenes physiques 
naturels tels que des conditions environnementales ou des 
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compor-tements de processus s ' auto-organisant: . Des matrices 
de scalaires ou de vecteurs sont traitees pour extraire des 
limites de luotifs, des proprietes geometriques de pixels a 
1 ' interieur des limites ( centre geom^trique , moments 
5 ponderes, etc.) et des informations derivees de plus haut 
niveau (sens de rotation, regions segmentees, classification 
de motifs, syntaxe, grammaires, sequences etc.) qui sont 
utilisees pour cr#er des signaux de controle vers des 
equipements externes video, visuels et de contrSle ou bien 

10 des algorithmes. Cette invention permet egalement de fournir 
des signaux de controle MIDI et non-MIDI. 

Cette demande de brevet americain ne propose pas de 
retour visuel des manipulations. Cette demande de brevet 
americain ne fait pas non plus mention de loi de commande. 

15 Enfin cette demande de brevet ne propose pas de solutions 
techniques aux ph^nom&nes de masquage qui interviennent 
lorsque plusieurs doigts sont align^s ou places de maniere 
orthogonale sur le capteur. La resolution de ces problemes 
est indispensable a la mise en ceuvre d'un capteur tactile 

20 multi-contact. 

L'art ant^rieur connait egalement, par le brevet 
americain US 5 027 689 (Yamaha) ''Musical tone generating 
apparatus'' ^ un appareil generateur de sons musicaux. Get 

25 appareil comporte un dispositif de generation d ' informations 
de position pour generer des informations de position 
d' instrument de musique (PS) en tant que valeurs de 
coordonnees planes. Ces informations (PS) sont stockees dans 
un dispositif memoire ou determinees de fagon selective par 

30 une operation manuelle. L' appareil comprend aussi un 
dispositif de conversion d ' informations pour convertir les 
informations (PS) en informations de controle de parametres 
de sons musicaux (PD). Ces informations de controle PD 
contrSlent les signaux de source de sons musicaux (Sll, S12 
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et S13) pour generer un champ de son correspondant a la 
position d' instruments .de musiques disposes sur una scene. 
Ceci permet a un operateur de verifier les positions 
d' instruments de musique sur une scene, fournissant ainsi la 
5 sensation d'etre dans une vraie representation « en live ». 

Dans ce brevet americain, il est fait mention de 
multicontact, mais il s'agit seulement de deux contacts sur 
un axe et non pas en cobrdonn^es cart^siennes . L'appareil de 
ce brevet americain ne fonctionne qu'en lin6aire pour 
10 1' option multipoint et ne permet pas le tracking (suivi de 
trajectoire) . De plus, l'appareil de ce brevet americain 
necessite une pluralite de capteurs^ specif ique a chacun des 
instruments^ alors que la pr^sente invention vise un capteur 
gen^rique . 

15 

L'art anterieur connalt egalement une solution de type 
contr61eur musical sous la forme d'un 6cran tactile avec 
retour visuel des objets manipules par le brevet US 
5,559,301. Cependant, ce brevet d^crit des objets pr^d^finis 

20 (essentiellement de type sliders et potentiometre 
circulaire). Ces types d'objets sont assez limitatifs et 
peuvent s'averer peu ergonomiques pour des manipulations 
speciales. Par ailleurs, le mode d' acquisition decrit dans 
ce brevet n'est pas en. temps r^el. En effet, un icone doit 

25 d'abord etre active par un premier contact du doigt, puis 
I'objet manipule, et les valeurs ne sont mises a jour 
qu'apres que 1' icone soit relache. Cette solution ne permet 
pas une gestion en temps reel des parametres associes a 
I'objet. Enfin, le capteur tactile utilise dans ce brevet 

30 est un capteur « mono-contact » ne permettant 1' acquisition 
par exemple que pour un seul doigt, et done le controle d'un 
seul objet a la fois. Cette caracteristique est tres 
limitative pour une manipulation efficace des objets. 
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Dans toute la suite, le terme « multi-contact » 
definit un capteur tactile permettant 1 ' acquisition des 
zones de contact de plusieurs doigts a la fois, par 
opposition aux capteiirs « mono-contact » ne permettant 
5 1' acquisition que pour un seul doigt ou pour un stylet, 
comme par exemple pour le brevet precedent US 5,559,301. 

La presente invention entend rem^dier aux 
inconv§nients de I'art anterieur en proposant un ecran de 
10 controle musical tactile multi-contact avec retour visuel 
des differentes actions de I'utilisateur sur des objets 
parametrables . 

Pour ce faire, la presente invention est du type 

15 d^crit ci-dessus et elle est remarquable, dans son acception 
la plus large, en ce que elle concerne un proc^d^ pour le 
controle d'un ^quipement informatise par un dispositif 
comportant un capteur bidimensionnel multi-contact pour 
1' acquisition d' informations tactiles, ainsi que des moyens 

20 de calculs generant des signaux de commande en fonction 
desdites informations tactiles caracterise en ce qu'il 
comporte une etape de generation d' objets graphiques sur un 
ecran place sous un capteur tactile multi-contact 
transparent, chacun des objets graphiques etant associe a au 

25 moins une loi de traitement specif ique, le capteur delivrant 
lors de chaque phase d ' acquisition une pluralite 
d' informations tactiles, chacune desdites informations 
tactiles faisant I'objet d'un traitement specif ique 
determine par sa localisation par rapport a la position d'un 

30 desdits objets graphiques. 



De pr6f6rence, les traitements comportent une 
detection de zone englobante de la zone de contact d'un 
Ob jet avec le capteur tactile. 
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Avantageusement , les traitements comportent une 
detection de barycentre. 

5 De preferences * il comporte des 6tapes de 

raf ralchissement des objets graphiques en f one t ion des 

traitements effectu^s lors d'une ^tape d' acquisition 
pr6c6dente au rtioins. 

10 Selon un mode de mise en oeuvre, il comporte une etape 

d' edition d' objets graphiques consistant a gen^rer une 
representation graphique a partir d'une bibliotheque de 
composants et de fonctions graphiques, et a determiner une 
loi de traitement associSe. 

15 

De preference, la frequence d' acquisition des 
informations tactiles est superieure a 50 hertz. 

La presente invention concerne egalement un dispositif 
20 pour le controle d'un equipement informatise comportant un 
capteur bidimensionnel multi-contact pour 1 ' acquisition 
d' informations tactiles caracterise en ce qu'il comporte en 
outre un ecran de visualisation dispose sous le capteur 
tactile bidimensionnel, ainsi qu'une memoire pour 
25 I'enregistrement d' objets graphiques associes chacun a au 
moins une loi de traitement, et un calculateur local pour 
1' analyse de la position des informations tactiles acquises 
et 1' application d'une loi de traitement en fonction de 
ladite position par rapport a la position des objets 
30 graphiques. 

De preference, il se connecte en outre a un hub 
(multi-prise reseau) pour former un reseau de controleurs. 
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Avantageusement, ledit capteur tactile bidimensionnel 
multi-contact est une dalle resistive. 

De preference, ledit dispositif comprend en outre une 
5 sortie r^seau apte a recevoir un cable reseau. 

On comprendra mieux 1' invention a I'aide de la 
description, faite ci-apres a titre purement explicatif, 
d'un mode de realisation de 1' invention, en reference aux 
10 figures annex6es ou : 

la figure lA, est un diagramme fonctionnel du 
contr61eur selon 1' invention, 

- la figure IB repr6sente la structure du controleur 
associ^ au diagramme fonctionnel selon 1' invention, 

15 - la figure IC repr^sente le diagramme fonctionnel des 

diff^rentes Stapes des processus d' acquisition des donnees 
provenant du capteur, de la creation des curseurs associ^s 
aux differents doigts, de 1 ' interaction avec les objets 
graphiques et de la generation des messages de controle, 

20 - la figure 2 A est une description du capteur tactile 

matriciel, 

la figure 2B decrit la premiere etape du 
fonctionnement du balayage du capteur en vue d'obtenir 
1 ' information multi-contact, 
25 - les figures 2C, 2E et 2F expliquent la resolution 

des problemes d'orthogonalite, 

la figure 2D est un diagramme fonctionnel de 
1' interface de capture, 

- la s^rie de figure 3A a 3F explique les etapes de 
30 creation de curseurs, de filtrage, de calcul de barycentre, 

de mapping et de controle des objets graphiques, 

- les figures 4 et 5 representent differents exemples 
d' objets graphiques. 
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- les figures 6 a 10 representent differents exemples 
de combinaisons d'objets graphiques sur le controleur, 

- la figure 11 illustre 1 'utilisation en reseau du 
controleur associe a I'ordinateur de I'utilisateur . 

Dans toute la suite, le controle s'effectue sur un 
equipement informatise pouvant etre par exemple un logiciel 
de musique, un automate, un equipement audiovisuel, ou un 
Equipement multimedia; 

IllustrE figures lA, IB et plus prEcisEment 2A, le 
premier Element fondamental de la presente invention est le 
capteur matriciel (101), necessaire a I'acquisition 
(manipulations multi-contact) a I'aide d'une interface de 
capture (102). Le capteur peut dtre Eventuellement divise en 
plusieurs parties afin d'accelerer la captation, chaque 
partie etant balayee simultan6ment . 

Le principe general est de creer autant de curseurs 
(comme un curseur de souris) qu'il y a de zones detectees 
sur le capteur et de suivre leurs evolutions dans le temps . 

Lorsque I'utilisateur retire ses doigts du capteur, 
les curseurs associes sont detruits. 

De cette maniere, on capte la position et 1' evolution 
de plusieurs doigts sur le capteur simultanement . C'est une 
captation multi-contact tout a fait innovante pour ce type 
de controleur. 

Le capteur utilise pour 1' exemple d' implementation de 
1' invention est une dalle tactile resistive matricielle de 
type connue . 
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Les dalles tactiles resistives matricielles sont 
composees de 2 faces superposees sur lesguelles sont 
organisees des pistes d'lTO (oxyde indium etain) , qui est un 
materiau conducteur translucide. Les pistes forment 
5 disposees en lignes sur la couche superieure et en colonnes 
sur la couche inferieure^ formant une matrice. (cf. figure 
2A) . 

Les deux couches conductrices sont isolees I'une de 
1' autre par des entretoises d'espacement . L ' intersection 
10 d'une ligne avec une colonne forme un point de contact. 
Quand on pose un doigt sur la dalle, on met en contact une 
ou des colonnes situ^es sur la couche superieure avec une ou 
des lignes situees sur la couche inf^rieure cr6ant ainsi un 
ou plusieurs points de contact, (cf. figure 2B). 

15 

Avantageusement, une variante de 1' invention consiste 
a remplacer les entretoises par un materiau resistif 
transparent (par exemple un polymere conducteur), dont la 
resistance varierait en fonction de I'ecrasement , celle-ci 
20 chutant si I'on exerce une force d'appui suffisante. De 
cette maniere, on pourrait egalement extraire la pression 
exercee sur la surface en effectuant une mesure de 
resistance a chaque intersection ligne-colonne . 

25 En vue de 1 'utilisation musicale ou audiovisuelle de 

ces dalles, I'imperatif est de mesurer I'activite d'un doigt 
avec une latence maximum de 20 ms. 

On mesure au moins 100 fois par seconde I'^tat de la 
30 dalle, celle-ci pouvant etre divisee en plusieurs zones afin 
d'effectuer un traitement parallele sur les lesdites zones. 

Ainsi, selon 1' invention, la frequence 

d'echantillonnage de la dalle est d'au moins 100 Hz. 
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Un autre element fondaiuental est le dispositif 
electronique de balayage de la dalle tactile permettant la 
detection siitiultanee de plusieurs points de contact sur le 
5 capteur matriciel. En effet^ les methodes d' acquisitions 
connues pour ce type de capteurs ne permettent pas la 
detection de plusieurs points de contact simultanes. 

Les methodes connues a ce jour ne permettent pas de 
10 resoudre les problemes illustres par la figure 2C. 

Si on effectue une mesure simultan^e de toutes les 
lignes en alimentant une colonne^ des problemes 
d • orthogonalite surviennent. Le point de contact n°l va 
masquer le point de contact n**2, De meme, si on mesure une 
15 ligne lorsque toutes les colonnes sont alimentees^ le point 
de contact n°2 est masque par le point de contact n°l. La 
solution proposee pour resoudre ce probleme consiste a 
effectuer un balayage sequentiel du capteur. 

20 Les colonnes sont alimentees par exemple en 5V a tour 

de role et on mesure le niveau des lignes (niveau haut ou 
bas ) sequentiellement . 

Quand une des colonnes est mise sous tension^ les 
autres sont en haute impedance afin d'empecher la 
25 propagation du courant dans celles-ci. 

Ainsi, On alimente d'abord la colonne 1 tandis que les 
autres colonnes sont en haute impedance. 

Les lignes sont mesurees sequentiellement, c'est-a- 
dire les unes apres les autres. On lit dans un premier temps 
30 la valeur sur la premiere ligne tandis que I'on relie toutes 
les autres lignes a la masse. Puis on relie la ligne 1 a la 
masse et on lit la valeur sur la ligne 2, et ainsi de suite 
jusqu'a ce que I'on ait lu la valeur de toutes les lignes. 
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La colonne 1 passe ensuite a 1 ' etat de haute impedance 
et la colonne 2 est alimentee. On recommence a lire I'etat 
de chacune des lignes. 

On effectue ainsi le balayage jusqu'a la derniere 
5 colonne . 

Le but etant de former une dalle multi-contact, le 
balayage total de la matrice se fait a une frequence 61ev6e 
afin d'obtenir la valeur de chacun des points d ' inter section 
de la dalle plusieurs fois par seconde. 
10 Le dispositif permettant d'acqu6rir les donn^es de la 

dalle est illustre par la figure 2D, repr^sentant 
I'algorithme d' acquisition d'une dalle comprenant 100 lignes 
(L) et 135 colonnes (C). 

15 Certains problemes de masquage d'un point par un ou 

plusieurs autres points peuvent apparaltre. 

En effet, la resistance du mat^riau transparent (ITO) 

composant les colonnes et les lignes augmente 

proportionnellement a la longueur des pistes. Ainsi,. le 
20 potentiel mesure au coin inferieur gauche du capteur sera 

superieur au potentiel mesure a au coin superieur droit, 

Sur les figure 2E et 2F, le nuage de points absorbe 

une grande partie du potentiel electrique de la colonne 

25 alimentee. La potentiel mesure sur le point isole est done 
trop faible pour etre d^tecte. 

La solution a ce probleme consiste a utiliser un 
comparateur de tension pilote numeriquement en sortie de la 
30 ligne afin de determiner si la tension observee est 
suf f isante pour etre consid^r^e coirane resultant de 1 ' action 
d'un doigt sur la dalle tactile. La valeur de reference du 
comparateur (seuil de comparaison) est decrementee a chaque 
mesure de ligne. Ainsi les valeurs de comparaisons des 
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dernieres lignes sont inferieures a celles des premieres 
lignes, ce qui permet de detecter de la meme maniere un 
point de contact situe en bas a gauche ou en haut a droite. 

5 On effectue alors par exemple I'echantillonnage 

complet de la dalle au moins 100 fois par seconde pour les 
colonnes et les lignes. 

Les donn^es issues de 1' interface de capture (102) 
10 forment ainsi une image representative de 1' ensemble du 
capteur. Cette image est placee en m^moire afin qu'un 
programme puisse proceder au filtrage, a la detection des 
doigts et a la creation des curseurs. On se r^f^rera a cet 
effet a la figure IC. 

15 

La phase de filtrage illustrg par la figure 3B 
consiste a ^liminer le bruit 6ventuellement genere par 
1' interface d' acquisition ou le capteur lui-meme. On 
considere que seuls des nuages de plusieurs points de 
20 contact peuvent correspondre a I'appui d'un doigt. On 
effectue done une detection de zone englobante afin 
d'eliminer des points de contact isoles. 

L'etape suivante consiste a associer un curseur a 
25 chaque point d'appui (figure 3C). A cet effet, on calcule le 
barycentre de chaque zone englobante. Lorsqu'un doigt est 
relache^ le curseur correspondant est libere. 

Le programme execute localement par le processeur 
30 principal permet d' associer ces curseurs a des objets 
graphiques qui sont affiches sur I'^cran (105) afin de les 
manipuler. Simultan^ment , le programme local utilise ces 
curseurs pour g^n^rer des messages de controle adress^s a 
I'ordinateur hote ou I'appareil controle. 
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En outre, le programme comporte un simulateur de 
modeles physiques permettant de modifier les lois 
d' interaction entre les curseurs et les objets graphiques. 
5 Differents modeles physiques peuvent etre employes : systeme 
masse-ressort , vibration d'une corde^ gestion des 
collisions, loi de la gravite, champ electromagn^tique. 

Le programme considere le positionnement des curseurs 
10 et sur quel objet graphique chacun se situe. En fonction de 
I'objet considere, un traitement specif ique est applique aux 
donnees provenant du capteur. Par exemple, une mesure de 
pression (correspondant a une Evolution de la tache faite 
par le doigt sur la dalle tactile dans un court intervalle 
15 de temps) peut §tre interpretSe. En fonction de la nature de 
I'objet, d'autres parametres peuvent dtre deduits : 
1' acceleration, la vitesse, les trajectoires, etc. Des 
algorithmes de reconnaissance de forme peuvent etre 
appliques ^galement afin de differencier differents doigts. 

20 

Le programme principal (103) transmet egalement a 
1' interface graphique (104) les donnees a afficher a I'ecran 
(105). Cette interface graphique est en outre constitute 
d'un processeur graphique. Ce processeur graphique est par 

25 exemple de type connu. Ce dernier peut etre constitue de 
fonctions graphiques primitives permettant par exemple 
I'affichage de bitmap, de polices de caracteres de polygenes 
et de figures en 2 et 3 Dimensions, le dessin vectoriel, 
1 ' antialiasing, le texturage, la transparence et 

30 1 ' interpolation de couleurs. 

Dans cette declinaison de 1' invention, le programme 
principal comprend Egalement un analyseur d' expressions 
mathematiques qui permet de saisir et de calculer en temps 
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r4el des fonctions mathematiques . Celles-ci periuettent de 
modifier les valeurs de toute variable. Par exemple, les 
coordonnees {k^ y) d'un curseur a I'interieur d'un objet 
peuvent etre considerees coimne deux variables comprises 
5 entre 0 et 1. L'analyseur d' expression permet de creer une 
expression du type « x*1000-i-600 » afin d'obtenir une 
nouvelle variable, dont la valeur sera comprise entre 600 et 
1600, La variable obtenue permet de controler par exemple la 
frequence d'un oscillateur comprise entre 600 et 1600 hertz. 
10 Les expressions mathematiques peuvent s'appliquer 

aussi bien k des valeurs scalaires qu'a des vecteurs. 

L'analyseur d'expression est un outil permettant 
d'effectuer des calculs temps r6el sur les variables des 
15 objets, 

Le programme local (103) realise egalement un 
formatage des donn^es sous forme de messages pour le port 
r^seau (106)^ qui les communiquera a I'ordinateur sur lequel 
20 sont execut^es les applications inf ormatiques . 

L'^ interface reseau est par exemple une interface 
Ethernet 10/100 baseT standard ,r qui communique par paguets 
grace au protocole TCP/IP. Elle peut aussi etre une 
25 interface reseau de type sans fil. 

Illustre figure 11, il faut noter que la liaison 
Ethernet off re a 1 'utilisateur la possibilite, grace a 
1 'utilisation d'un simple hub (multiprise reseau), d'etendre 
30 indefiniment son dispositif de controle en constituant un 
reseau de controleurs selon 1' invention. 



wo 2005/091104 



PCT/FR2005/000428 



15 

Le (ou les) controleur ( s ) present (s) sur le r^seau 
communiquent alors entre eux et avec 1 ' ordinateur hote sous 
la forme d'envois reciproques de messages • 

5 ensemble constituant la machine est par ailleurs 

alimentee par une batterie non representee de type connu ou 
par un adaptateur secteur. 

Enfin^ au niveau de I'ordinateur de 1 'utilisateur , un 
^diteur d' interface (107) permet de programmer de maniere 

10 graphique 1' interface, c'est-a-dire 1' ensemble des objets 
graphiques af fichus sur I'^cran (105). Dans ce mode de 
realisation de 1' invention , les interfaces sont elles-memes 
organisees en scenes, qui sont des structures hierarchiques 
sup6rieures. Chaque scene comprend en effet plusieurs 

15 interfaces. L'utilisateur peut permuter les interfaces a 
I'aide d'un clavier de bouton ou d'un p^dalier de controle 
connecte au port d' entree-sortie (109). 

Une autre fonction de I'editeur d' interface est 
20 d'affecter les donnees de controle aux parametres que 
1 ' utilisateur souhaite controler 

L'utilisateur dispose par exemple d'une bibliotheque 
d' objets graphiques parametrables permettant de composer 
25 differentes interfaces- selon 1 ' application desiree. Les 
figures 4 et 5 representent differents objets graphiques mis 
a la disposition de l'utilisateur. 

lis peuvent etre pr^d^finis et d^di^s tout 
30 particulierement a la musique ou au controle d ' ^quipements 
audiovisuels ou d'appareils inf ormatis^s. Par exemple, un 
potentiometre lin^aire (403, 404) est particulierement 
adapts & controler des parametres continus tels que le 
volume d'un signal sonore, la frequence d'un filtre. Une 
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molette (401) peut par exemple servir a contrdler le 
defilement d'un lecteur audio ou video. Las objets peuvent 
aussi etre developpes librement grace a un kit de 
developpement (SDK) de type connu (109). Le kit de 
d^veloppement donne acces aux fonctions primitives 
graphiques du controleur. 

L'^diteur d'interface (107) permet ainsi a 
I'utilisateur de creer ais^ment des interfaces 
personnalisees de contrdle. C'est un logiciel execute sur 
I'ordinateur de I'utilisateur. II se compose d'une fenetre 
principale repr^sentant la surface tactile de la dalle sur 
laquelle on peut deposer des objets graphiques issus d'une 
bibliotheque d' objets proposes. La manipulation et le 
placement des objets sur la surface s'effectuent a la 
souris^ par exemple. L'objet d6pos6 sur la fenetre s'affiche 
simultanement sur le contrdleur^ l'objet etant enregistrg 
dans une m^moire du controleur. II peut par la suite 
d^placer ou redimensionner les objets S. sa convenance. 

En plus du positionnement des objets graphiques sur la 
fenetre principale^ d'autres fenetres secondaires permettent 
de r^gler diff^rents parametres inherents aux objets 
(proprietes graphiques, comportement physique). Par exemple, 
un bouton (402) peut aussi bien agir comme un interrupteur 
ou comme une gachette. Dans le cas du mode gachette, une 
mesure de pression peut optionnellement etre op^ree. Un 
autre exemple d'objet parametrable est I'aire 2D (503, 504), 
dont le principe consiste a deplacer des pions a I'interieur 
d'une zone delimitee. Le nombre de pions presents sur 
l'aire2D est une option parametrable. L'aire peut etre 
configuree en mode uniplan, mode dans lequel les pions 
entrent en collision les uns avec les autres, ou multi-plan, 
mode ou les pions sont places sur des plans distincts 
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superposes. Des parametres physiques peuvent egalement etre 
configures : le coefficient de f rottement des pions sur le 
plan, le rebond et 1 ' attraction des pions sur les bords et 
entre eux. 

5 

L'editeur permet egalement de lister les objets 
presents sur la surface, de cr^er des fonctions et des 
variables grSce a I'analyseur d' expression. 

10 Ainsi, les objets ont par dSfaut un certain nombre de 

variables (x, y, z...) correspondant a leurs axes primitifs. 
Ces variables sont toujours comprises entre 0 et 1 et 
varient sous forme de nombres 32 bit a virgule flottante. 
L'utilisateur doit pouvoir « connecter » ces variables vers 

15 d'autres valeurs plus representatives de ce qu'il souhaite 
controler. Ainsi, I'analyseur d' expression donne la 
possibilite de creer de nouvelles variables a I'aide 
d' expressions mathematiques simples. Par exemple, un 
potentiometre rectiligne a un axe primitif qui est x. Si 

20 1 'utilisateur desire controler une frequence de 500 a 
2500Hz, il doit creer une variable a=2000x+500. 

Des options d'affichage de statut sont aussi 
souhaitees. Elles permettent de controler visuellement 
25 I'etat d'un parametre. 

Les traitements ulterieurs qui seront appliques aux 
objets au niveau de I'unite de calcul principale (103) par 
la manipulation sur la dalle sont sp^cifiques a chaque type 
30 d'objet. 

En effet, un mouvement circulaire du doigt sur un 
potentiometre lineaire virtuel (403, 404) ne doit pas avoir 
d' action sur I'etat du potentiometre, alors qu'il doit 
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modifier I'etat dans le cas d'un potentiometre circulaire 
(401). De meme^ certains objets ne peuvent prendre en compte 
qu'un seul doigt ( le potent iometre lingaire par exemple) en 
meme temps ^ tandis que d'autres peuvent accepter 
5 1 ' interaction de plusieurs doigts (clavier^ aire2D) . 

Par exemple, 1' « aire 2D » (503, 504) est une surface 
rectangulaire qui contient un certain nombre de pions, 
chacun ayant une position propre. Les pions peuvent etre 
10 deplaces par 1 ' utilisateur . 

Le principe est de mettre en place un systeme physique 
pour 1' ensemble des objets, c'est-a-dire par exemple que les 
pions deplaces par I'utilisateur acquierent une vitesse 

15 d'inertie qu'ils gardent lorsque I'utilisateur les relache ; 
les pions ainsi soumis a leur vitesse propre vont rebondir 
sur les bords de 1' « aire 2D » et m§me rebondir entre eux. 
De plus, ils seront soumis a des forces 
d' attract ion/ repulsion sur les bords et sur les autres 

20 pions, ainsi qu'a un coefficient de frottement sur la 
surface de I'aire 2D, pour stopper les pions au bout d'un 
certain temps. Tous ces parametres seront parametrables . 

Une autre variante de I'aire 2D consiste a appliquer 
25 une loi physique de type «masse-ressort ». Un elastique 
virtuel est tendu entre chaque curseur et chaque pion. 
L'utilisateur peut modifier le comportement de cet objet en 
configurant la friction et le facteur d' interpolation. Ces 
propri^tes peuvent ^galement etre modifiees en temps reel a 
30 I'aide d' autres objets, 

Un autre exemple est le « Multislider » (501), une 
table de curseurs dont le nombre est configurable. 
L' utilisation typique " est le contrSle d'un egaliseur 
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graphique ou d'une enveloppe spectrale. La difference entre 
un « multislider » et plusieurs potent iometres lineaires 
simples juxtaposes est que I'on peut modifier 1' ensemble des 
curseurs en un seul toucher, en faisant glisser le doigt. Le 
5 multislider peut egalement etre utilise comme une corde 
discr6tis§e. Pour cela, il suffit de lui appliquer le modele 
physique d'une corde ^ dont la tension est parametrable par 
1 ' ut i 1 i s at eur . 

10 Une visualisation de diff brents exemples d' interfaces 

r^unissant diff brents types d'objets est illustr^e par les 
figures 6 a 9, ou I'on peut observer plusieurs objets 
d^crits ci-dessus. 

15 La figure 6 repr^sente un arrangement de 6 aire 2D 

(601) contenant chacune 1 pion. Cette interface pourrait 
controler, par exemple, six f litres differents affect^s a 
une ou plusieurs sources sonores. Dans ce cas^ le 
deplacement en abscisse de chaque pion a I'int^rieur de 

20 chaque zone controle la frequence du f litre, tandis que le 
deplacement en ordonnee controle le facteur qualite ou la 
largeur de bande du filtre. 

La figure 7 represente un exemple de controle d'un 
synthetiseur ou d'un echantillonneur de type connu. 

25 L' interface se compose d'un clavier tempere (704) controlant 
la hauteur des sons, d'un groupe de quatre potentiometres 
(703) verticaux permettant de controler par exemple son 
enveloppe dynamique (temps d'attaque, temps de decroissance , 
niveau d'entretien, temps de relachement ) . Une aire 2D (701) 

30 contenant 3 pions permet de controler par exemple des effets 
appliques au son (reverberation, 6cho, filtres). Une matrice 
de 16 boutons (702) peut par exemple declencher 16 
diff^rentes sequences musicales enregistr^es ou encore 
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rappeler 16 configurations pre-enregistrees des controles 
decrits pr^cedemment . 

Un autre example d' application de 1' invention est 
5 illustre par la figure 8 representant le controle d'un 
dispositif de diffusion de diff^rentes sources sonores dans 
I'espace^ sur un dispositif constitu^ de plusieurs haut- 
parleurs. Dans cette configuration^ une aire 2D (801) 
representant I'espace de diffusion contient 4 pions (801) 

10 correspondant a quatre sources sonores. L'aire 2D contient 
^galement 5 icdnes (802) representant le positionnement de 
cinq haut-parleurs . En d^plagant les diffgrents pions (802) 
on regie le niveau et/ou la phase de chaque source sonore 
par rapport a chaque enceinte ^ ce qui determine son 

15 emplacement dans I'espace. Un groupe de quatre 
potentiometres lineaires (803) permet qui plus est de regler 
le niveau relatif de chaque source. Un ensemble de quatre 
boutons (804) permet d'activer ou de desactiver chaque 
source sonore . 

20 

Un autre exemple est illustre par la figure 9 qui 
represente le controle d'un synth^tiseur ou d'un generateur 
de son selon une configuration differente de celle 
representee par la figure 7, Ici, la frequence du generateur 

25 de son est controlee par quatre cordes virtuelles (903). La 
tension initiale (1 'accord) de chaque corde peut elle-m§me 
etre contrdiee^ par exemple^ par un potentiometre lineaire 
(902). Une aire 2D peut par exemple controler d'autres 
parametres du generateur de son^ tel que le niveau de 

30 sortie, le timbre, le panoramique, etc. 



La figure 10 represente le contrdle d'un equipement de 
montage audio et/ou video de type connu. Une molette (1001) 
permet de controler la vitesse de lecture des sources audio 
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et/ou video. Un objet d'affichage de statut (1002) permet de 
repr^senter le positionnement de la lecture selon un format 
(heure, minute^ seconde, image) de type connu. Un ensemble 
de boutons (1003) permet d'acceder aux fonctions de lecture 
et de montage de I'appareil controle. 

L' invention est decrite dans ce qui precede a titre 
d'exemple. II est entendu que I'homme du metier est a meme 
de realiser diff^rentes variantes de 1 * invention sans pour 
autant sortir du cadre du brevet. 
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REVENDICATIONS 

1. Precede pour le controle d'un equipement 
informatise par un dispositif comportant un capteur 

5 bidimensionnel multi-contact pour 1 ' acquisition 

d' informations tactiles^^ ainsi que des moyens de calculs 
generant des signaux de commande en fonction desdites 
informations tactiles caracterise en ce qu'il comporte une 
etape de generation d'objets graphiques sur un ecran place 

10 sous un capteur tactile multi-contact transparent, chacun 
des objets graphiques etant associe a au moins une loi de 
traitement specif ique, le capteur delivrant lors de chaque 
phase d' acquisition une pluralite d' informations tactiles, 
chacune desdites informations tactiles faisant I'objet d'un 

15 traitement specifique determine par sa localisation par 
rapport a la position d'un desdits objets graphiques. 

2. Precede pour le contrdle d'un Equipement 
informatisE selon la revendication 1, caract6ris6 en ce 

20 qu'il met ceuvre un capteur matriciel et qu'il comporte en 
outre une etape de balayage sequentiel du capteur. 

3. ProcEdE pour le contr61e d'un equipement 
informatise selon la revendication 1, caract^risE en en ce 

25 que les traitements comportent une detection de zone 
englobante de la zone de contact d'un objet avec le capteur 
tactile. 

4. Precede pour le controle d'un equipement 
30 informatise selon la revendication 1, caracterise en en ce 

que les traitements comportent une detection de barycentre. 

5. Precede pour le controle d'un equipement 
informatise selon la revendication 1, caracterise en en ce 
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qu'il comporte des etapes de raf raichissement des objets 
graphiques en fonction des traitements effectues lors d'une 
etape d' acquisitions precedente au moins. 

5 6. Precede pour le controle d'un equipement 

informatise selon la revendication 1, caract^risS en en ce 
qu'il comporte une etape d'^dition d'objets graphiques 
consistant h. ggn^rer une representation graphique a partir 
d'une bibliotheque de composants et de fonctions graphiques, 
10 et a determiner une loi de traitement associ^e. 

7. Proc^d^ pour le controle d'un Equipement 
informatise selon la revendication 1, caract^risS en en ce 
que la frequence d' acquisition des donn^es tactiles est 

15 sup^rieure a 50 hertz • 

8. Precede pour le controle d'un equipement 
informatise selon la revendication 1^ caracterise en en ce 
que ledit dispositif communique avec ledit equipement 

20 informatise par une liaison Ethernet. 

9. Dispositif pour le controle d'un equipement 
informatise comportant un capteur bidimensionnel multi- 
contact pour 1 ' acquisition d' informations tactiles^ 

25 caracterise en ce qu'il comporte en outre un ecran de 
visualisation dispose sous le capteur tactile 
bidimensionnel^ ainsi qu'une memoire pour I'enregistrement 
d'objets graphiques associ^s chacun a au moins une loi de 
traitement, et un calculateur local pour 1' analyse de la 

30 position des informations tactiles acquises et 1' application 
d'une loi de traitement en fonction de ladite position par 
rapport a la position des objets graphiques. 
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10. Dispositif pour le controle d'un equipement 
informatis^ selon la revendication 9, caracteris^ en ce 
qu'il se connecte en outre a un hub (multi-prise reseau) 
pour former un reseau de controleurs . 

11. Dispositif pour le controle d'un equipement 
informatise selon la revendication 9, caracterise en ce que 
ledit capteur tactile bidimensionnel multi-contact est une 
dalle resistive. 

12. Dispositif pour le controle d'un equipement 
informatise selon la revendication 9, caracterise en ce que 
ledit dispositif comprend en outre une sortie reseau apte a 
recevoir un c&ble reseau. 
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